Chaîne/Processus de Markov
Processus stochastique dont l'état à un certain instant ne dépend que de l'état précédent. $$\forall n,\forall x_{1:n},\quad {\Bbb P}(X_n=x_n\mid X_{1:n-1}=x_{1:n-1})={\Bbb P}(X_n=x_n\mid X_{n-1}=x_{n-1})$$"Le futur ne dépend que du présent, pas du passé."
- l'élément \(m_{ij}\) de la matrice de transition donne la probabilité de passer de l'état \(i\) à l'état \(j\) lors d'une itération de la chaîne de Markov
- de même, \((M^n)_{ij}\) donne la probabilité de passer de l'état \(i\) à l'état \(j\) après \(n\) itérations de la chaîne de Markov
- on note \(m_{ij}^{(n)}\) cette probabilité \((M^n)_{ij}\)
- on note \({\Bbb P}_i(X_n=j)\) \(=\) \({\Bbb P}(X_n=j\mid X_0=i)\) la probabilité d'être dans l'état \(j\) à l'instant \(n\) en étant parti de l'état \(i\)
- on a alors pour tout états \(i,j\), \({\Bbb P}_i(X_n=j)=\) \(m_{ij}^{(n)}\)
- la Loi de probabilités discrète donnant la probabilité d'être dans chaque état à une certaine itération \(n\) est donc donnée par : $$M^n\lambda$$
- on dit que le processus est invariant temporellement si les probabilités de transition ne dépendent pas de \(n\)
- on écrit alors \(X_1\to X_2\to\dots\to X_n\)
